De geschiedenis van het kasteel van Avelgem, bekend als de Scheldeburcht, is rijk en gevarieerd. Het begon in 1202 met de eerste vermelding van een zetel voor de heren van Avelgem. Tegen 1269 was er al sprake van een versterkte burcht dicht bij de kerk. In de 15de eeuw gaf Lodewijk van Gruuthuuse, heer van Avelgem, opdracht voor de bouw van een nieuw kasteel. Dit kasteel raakte echter zwaar beschadigd tijdens de godsdiensttwisten, maar werd hersteld door Catharina van Brugge.
De Scheldeburcht kwam in 1701 in handen van de familie d'Ursel. Aan het einde van de 18de eeuw werd het kasteel door hen verwaarloosd. Van 1804 tot 1868 werd het kasteel gehuurd door de gemeente en diende het als gemeentehuis. Uiteindelijk kwam het door erfenis in handen van de familie Vergauwen, die het in 1873 aan het bisdom schonk. Het bisdom richtte in 1872 het Sint-Jan Berchmanscollege op, dat werd ondergebracht in de overgebleven vleugels van de voormalige Scheldeburcht.
Vandaag is enkel de oostvleugel van het oorspronkelijke kasteel bewaard gebleven. Deze vleugel huisvest nu het plaatselijke conservatorium. Het is een tastbare herinnering aan de rijke geschiedenis en het erfgoed van Avelgem.